Khi Bắc Tống diệt vong, Cao Tông lên ngôi tháo chạy về phía nam, Nhạc Phi là một quan cấp dưới với lòng ngay thẳng nghiêm túc, đã vượt cấp dâng sớ cho Cao Tông trách mắng chủ trương của phái chủ hoà, khuyên vua Cao Tông thân chinh thống lĩnh sáu quân vượt lên phía Bắc, khôi phục lại Trung Nguyên. Nhưng Cao Tông bạc nhược lại không nghe những ý kiến này, mà ngược lại Nhạc Phi còn bị những quan lại của phái chủ hoà khép cho tội danh "quan nhỏ vượt chức" mà đòi bãi chức quan của Nhạc Phi.

Nhưng quyết tâm của Nhạc Phi chống Kim không bao giờ thay đổi, ông đầu quân vào Chiêu thảo sứ Hà Bắc là Trương Sở, được Sở đối đãi vào hàng quốc sĩ, lệnh cho Nhạc Phi theo Vương Ngạn vượt sông chiến đấu chống quân Kim. Quân Tống đến huyện Tân Hương (thuộc tỉnh Hà Nam hiện nay), thấy quân Kim đông đảo, Vương Ngạn không dám ra đánh, Nhạc Phi một mình dẫn bộ hạ huyết chiến cùng quân Kim, tự mình xông vào trận địa địch đoạt lấy đại kỳ chỉ huy của địch, quân sĩ thấy thế hăng hái xông lên đánh tan quân Kim thu phục lại Tân Hương. Ngày hôm sau lại đánh trận lớn, Nhạc Phi thân thể đầy thương tích, quân sĩ đều dồn hết sức mà đánh, quân Kim triệt thoái, tên tuổi Nhạc Phi lúc này vang danh khắp Hà Bắc.

Năm 1130, tướng Kim là Ngột Truật cất đại quân vượt sông Trường Giang đánh Tống, thế như chẻ tre, quân Tống tháo chạy hoảng hốt. Nhạc Phi tiến quân đến Thường Châu (thuộc tỉnh Giang Tô ngày nay), đánh với Ngột Truật bốn trận, quân Kim thua trận. Nhạc Phi tiếp tục truy kích, giành thêm chiến thắng ở trấn Giang Đông, Thanh Thủy. Ngột Truật nhanh chân cho quân chạy về Kim Lăng (nay là thành phố Nam Kinh), Nhạc Phi cho quân phục kích tại núi Ngưu Đầu đánh bại Ngột Truật, Ngột Truật lại chạy về Hoài Tây, Nhạc Phi thu hồi được Kim Lăng, bảo toàn được nửa mảnh giang sơn Giang Nam của Nam Tống. Lúc này Nhạc Phi đã có trong tay 4 vạn quân, trở thành danh tướng kháng Kim uy danh bốn phương, khi tuổi mới tròn 27.

Sau khi thu phục được Kim Lăng, Nhạc Phi chuyển quân sang đánh các vùng như Giang Tây, Hồ Nam, Lưỡng Quảng (Quảng Đông và Quảng Tây) và Phúc Kiến, bình định diệt trừ các nhóm thảo khấu cũng như các cuộc khởi nghĩa nông dân, củng cố chính quyền Nam Tống. Để khen thưởng cho chiến công của Nhạc Phi, Tống Cao Tông đã cho thêu bốn chữ lớn trên nền cờ Nhạc Phi tận trung để tưởng thưởng, lại thăng Nhạc Phi làm Tri sứ Giang Tây. Nhưng Nhạc Phi vẫn chưa hài lòng, ông không quên khôi phục Trung Nguyên, đã nhiều lần dâng sớ yêu cầu Bắc phạt, nhưng Tống Cao Tông không chấp nhận.

Năm 1134, người Kim cùng với chính quyền Lưu Tề ở phương Bắc do người Kim nâng đỡ, liên quân tiến đánh Nam Tống, đánh chiếm 6 quận Tương Dương ở trung lưu Trường Giang, trực tiếp uy hiếp sự sinh tồn của nhà Nam Tống. Tống Cao Tông lại phải lệnh cho Nhạc Phi xuất quân, nhưng lại hạn chế ràng buộc ông chỉ được phép thu phục 6 quận Tương Dương, không cho phép đánh tiến lên phía Bắc. Tuy bị triều đình chế ngự nhưng đây rốt cuộc lại là một cơ hội để tận trung báo quốc của Nhạc Phi. Nhạc Phi Bắc tiến, mạnh mẽ tiến công đến Đặng Châu (nay thuộc Nam Dương tỉnh Hà Nam), Tương Châu (nay thuộc huyện Tương Dương tỉnh Hồ Bắc), Dĩnh Châu (nay là huyện Chung Tường tỉnh Hồ Bắc), Tùy Châu (nay là huyện Tùy tỉnh Hồ Bắc), Đường Châu (nay là huyện Đường tỉnh Hà Nam), phủ Tín Dương (nay là huyện Tín Dương tỉnh Hà Nam). Những chiến công này đã cổ vũ mạnh mẽ quân dân Nam Tống chống Kim, kiên định thể hiện quyết tâm thu phục Trung Nguyên của Nhạc Phi. Nhưng do ảnh hưởng của Tần Cối đứng đầu của phái đầu hàng, Cao Tông đã cho triệu hồi Nhạc Phi về kinh, thăng chức cho ông làm Thanh Viễn quân Tiết độ sứ.

Năm 1136, quân Tống dưới sự chủ trì của đại tướng Trương Tuấn (Trương Đức Viễn), Nhạc Phi, Hàn Thế Trung... cùng các lộ cất quân Bắc phạt. Nhạc Phi xuất quân ở trấn Tương Dương, giương đông kích tây, lệnh cho thuộc tướng là Ngưu Cao giả vờ tiến quân, còn mình thì dẫn quân chủ lực tấn công phía Tây Bắc, năm trận đánh thắng cả năm, thu phục rất nhanh Y Dương, Lạc Dương, Thương Châu, Quắc Châu, tiến vào một dãy bờ phía nam Hoàng Hà, thu phục cả một vùng đất rộng lớn về cho nhà Nam Tống. Nhân dân khắp nơi đón chào Nhạc Phi và quân đội, hàng trăm đám nghĩa quân lớn nhỏ xin đến hưởng ứng. Trong tình thế hết sức thuận lợi này, phái chủ hoà và phái đầu hàng của tập đoàn thống trị Nam Tống mà đứng đầu là Cao Tông và Tần Cối lại tỏ ra sợ hãi. Bọn họ liền cho triệu hồi các lộ quân Bắc phạt, một lần nữa lại khiến cho ý chí của Nhạc Phi khó thực hiện.

Năm 1140, quân Kim lại ồ ạt xâm chiếm xuống phía Nam, công phá vây hãm Củng, Bột, tướng Lưu Kỳ phải cấp báo, Nhạc Phi lại phụng mệnh tiếp viện. Nhạc Phi lệnh cho Lương Hưng thống lĩnh quân kỵ lén vượt Hoàng Hà quấy phá hậu phương quân Kim, còn mình thì dẫn quân chủ lực trực chỉ Trung Nguyên, liên tiếp thu phục Yển Thành (nay thuộc tỉnh Hà Nam), Trịnh Châu, Lạc Dương... Nhạc Phi đại phá đội kỵ binh tinh nhuệ của Ngột Truật tại Yển Thành, lại đánh bại quân chủ lực của Kim ở trấn Chu Tiên (nằm ở phía tây nam huyện Khai Phong, tỉnh Hà Nam). Ngột Truật cho quân rút về Khai Phong không dám nghênh chiến, quân Tống tràn đầy khí thế. Nhưng một lần nữa triều đình lại đem thắng lợi của Nhạc Phi làm vốn xin hoà với người Kim, trong một ngày liên tiếp cho phát đi 12 lệnh kim bài triệu hồi Nhạc Phi. Trước đó, Tần Cối đã bí mật lệnh cho các tướng lĩnh rút lui, để lại một mình Nhạc Phi cùng quân của ông thâm nhập trận địa.

Án mạc tu hữu

Nhạc Phi bị ép vào thế khó đã ngửa mặt than: Công lao 10 năm, đã bị phá hỏng trong một buổi!. Lần ra quân này, không những khiến cho giấc mộng tận trung báo quốc, thu thập lại giang sơn cũ của Nhạc Phi trở nên hão huyền mà lại còn gặp phải vận rủi. Người Kim vốn ôm hận Nhạc Phi sâu sắc, họ liên kết với Tần Cối, bắt triều đình nhà Tống phải giết hại Nhạc Phi để làm điều kiện hoà nghị. Tống Cao Tông đã điều Nhạc Phi đi làm Khu mật phó sứ để tước bỏ hết binh quyền của ông. Ngày 25 tháng 12 âm lịch, năm 1141, Nhạc Phi và con trai của mình, Nhạc Vân, bị Tần Cối hạ độc giết chết tại đình Phong Ba thuộc Đại lý tự Lâm An. Giai thoại kể rằng, Nguyên soái Hàn Thế Trung đã chất vấn Tần Cối: xử tội Nhạc Phi, thế bằng chứng đâu? Tần Cối trả lời: Không có, nhưng cũng không cần có. 3 chữ "không cần có" (莫須有; mạc tu hữu) từ đó gắn liền với tên Nhạc Phi và đi vào tiếng Trung để chỉ những lời buộc tội ngụy tạo.